发表于 | 更新于: | 本文总阅读量 次
| 字数统计: 2.3k 字 | 阅读时长 ≈ 9 分钟

在今天的文章里，我们将介绍Elastic的一个重要的应用：应用程序性能管理（Application Performance Monitoring/Management)，简称APM。那么到底什么是APM呢？

随着时代的发展，我们的IT架构越来越复杂，比如：

我们系统的服务器越来越多，而且更多的设备都部署在云端。复杂的系统甚至有成千个微服务及架构所组成，那么我们的业务请求可能需要一个或更多的服务共同来完成。那么现在的问题是，如果我们的请求变得很慢，我们想知道到底是哪个环节出现问题了呢？经验丰富的程序员或者系统设计者，可能从一些log里找到答案。可是当我们的log变得非常大的时候，而且我们的接口也越来越多时，这个时候，也许我们也无能为力。

当我们在设计页面或者请求时，经常会遇到上面的这种等待的情况。可能有个别的工具能有效地解决部分的问题，但是如何能从整个的系统里来完成这种问题的定位及分析。Elastic推出的APM解决方案可以完美地解决这些问题。为我们的系统设计者或程序员提供了一个快速定位的方法。

APM 到底是什么呢？

我们先来看一下如下的这个图：

如上图所示，在不同时刻我们请求时，我们发现为什么在17:36:30发生的一个请求需要花将近8秒的时间，而另外在17:36:30分发生的一个请求却返回一个错误的代码？

Elastic APM方案是世界上第一个开源的APM 解决方案：

  • APM记录数据库查询，外部HTTP请求以及对应用程序的请求期间发生的其他缓慢操作的跟踪
    • 很容易让程序员看到应用在运行时各个部分所花的时间
  • 它收集未处理的错误和异常
    • 很容让程序员调试错误
  • 在客户面对性能瓶颈和错误之前先定位到问题所在
  • 提高开发团队的生产力

APM适用于Elastic Stack的位置

APM如何把数据存于Elasticsearch中，并提供分析呢？我们看一下如下的架构图：

如上图所示，我们看到一个最典型的APM架构图：

  • 我们需要架设一台专门的APM服务器，虽然也可以和Elastic Stack的其它服务器处于同一台服务器中
  • AMP agent专门收集数据并发送数据到APM服务器中。这里的APM agents包含：

  • APM服务器把数据发送到Elasticsearch中，并进行数据分析
  • Kibana可以帮我们把数据进行展示并显示在Dashboard之中

总体来说，APM数据仅仅是另外Elasticsearch索引。在Kibana中已经有一个现成的APM应用可以被我们所使用。我们也可以根据需求自己定制自己的Dashboard。APM可以完美地结合机器学习和告警。

APM术语

  • Service: 在apm agent配置中进行设置，以将特定的apm agent组标识为单个服务，这是一种逻辑上标识一组事务的方法
  • Transaction: 组成一个服务的请求和响应，例如 登录api调用，每个调用由单独的span组成。
  • Span: 事务中的单个事件，例如方法调用，数据库查询或缓存插入或检索，即需要花费时间才能完成的任何事件。
  • Erorrs：具有匹配的异常或日志消息的异常组

它们之间的关系可以用如下的图来表示：

分布式tracing：

例子

在今天的练习中，我们将以Java Spring boot为例来展示如何使用Elastic APM。

下载Spring boot代码

首先，我们在terminal中打入如下的命令：

1
git clone https://github.com/liu-xiao-guo/elastic-apm-demo

上面的一个例子是一个简单的Spring boot应用。它有一下的几个特点：

  • 它可以REST接口访问MySQL的数据库进行添加数据，请求数据
  • 它可以通过REST接口进行访问百度天气接口来获得天气数据

下面是它的部分代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
@PostMapping(path="/add") // Map ONLY POST Requests
public @ResponseBody String addNewUser (@RequestParam String name
		, @RequestParam String email) {
	// @ResponseBody means the returned String is the response, not a view name
	// @RequestParam means it is a parameter from the GET or POST request

	User n = new User();
	n.setName(name);
	n.setEmail(email);
	userRepository.save(n);
	return "Saved";
}

@GetMapping(path="/all")
public @ResponseBody Iterable<User> getAllUsers() {
	// This returns a JSON or XML with the users
	return userRepository.findAll();
}

@GetMapping(path="/weather")
public @ResponseBody String getBaiduWeather() throws InterruptedException {
	// Add some random delays before getting the info
	double delay = Math.random() * 10;
	System.out.println("delay: " + delay);
	TimeUnit.SECONDS.sleep((long)delay);

	String weather = getWeatherInform("北京");

	return weather;
}

在获得天气（weather）的接口中，我故意加入了一下随机数的延迟，这样来模拟每一次请求的时间是不同的。

我们可以在应用的根目录下打入如下的命令：

1
./mvnw clean package

这样它将会在当前目录下的target子目录下生产一个叫做accessing-data-mysql-0.0.1-SNAPSHOT.jar的文件。

1
2
$ ls ./target/accessing-data-mysql-0.0.1-SNAPSHOT.jar
./target/accessing-data-mysql-0.0.1-SNAPSHOT.jar

我们可以把这个文件拷入到我们想要的任何一个目录中。针对我的情况，我把它拷入到我的home目录下的data/apm目录中。

1
2
3
4
$ pwd
/Users/liuxg/data/apm
liuxg-2:apm liuxg$ ls accessing-data-mysql-0.0.1-SNAPSHOT.jar
accessing-data-mysql-0.0.1-SNAPSHOT.jar

安装MySQL

我们可以按照文档的需求来安装我们的MySQL。我们在一个terminal中打入如下的命令：

1
mysql -uroot -p

我们打入root用户的密码进入到MySQL之中。为了创建一个数据库，我们在MySQL的prompt中打入如下的命令：

1
2
3
mysql> create database db_example; -- Creates the new database
mysql> create user 'springuser'@'%' identified by 'ThePassword'; -- Creates the user
mysql> grant all on db_example.* to 'springuser'@'%'; -- Gives all privileges to the new user on the newly created database

上面的命令创建了一个叫做db_example的数据库。同时，它也创建了一个叫做springuser的用户及其密码ThePassword。我们可以通过Navicat工具来查看:

运行Elastic Stack

安装及运行我们的Elasticsearch及Kibana。我们打开我们的Kibana界面，并点击左上角的部分：

然后，我们按照上面的步骤一步一步地进行安装：

上面的步骤非常详细。对于APM agent的选择来讲，因为我们是Java应用，所以我们选择Java agent。我们下载相应的agent jar文件，并存放于我们上面放置spring boot的jar文件所处的文件夹。针对我的情况是home目录下的data/apm。

1
2
3
4
$ pwd
/Users/liuxg/data/apm
liuxg-2:apm liuxg$ ls elastic-apm-agent-1.10.0.jar 
elastic-apm-agent-1.10.0.jar

在这个时候，我们可以开始运行我们的Spring Java应用了。我们可以通过如下的命令来运行：

1
2
3
4
5
6
java -javaagent:./elastic-apm-agent-1.10.0.jar \
     -Delastic.apm.service_name=sample_apm \
     -Delastic.apm.server_url=http://localhost:8200 \
     -Delastic.apm.secret_token= \
     -Delastic.apm.application_packages=accessing-data-mysql \
     -jar accessing-data-mysql-0.0.1-SNAPSHOT.jar

注意：这里的sample_apm是我给取的一个服务名称。你可以根据自己的需求取一个独特的名字。如果你不想这么麻烦，你可以在当前的目录下生产一个叫做elasticapm.properties的文件。它的内容如下：

1
2
3
service_name=sample_apm
application_packages=accessing-data-mysql
server_url=http://localhost:8200

那么我们可以通过如下的命令来运行：

1
2
3
java -javaagent:./elastic-apm-agent-1.10.0.jar \
     -Delastic.apm.secret_token= \
     -jar accessing-data-mysql-0.0.1-SNAPSHOT.jar

等我们的Spring Boot应用完全起来后，我们点击Kibana中的“Check agent status”按钮。这个时候可能显示没有任何的数据。我们可以打开我们的浏览器，并在浏览器的地址栏中输入如下的地址：

我们可以看到我们得到了一下天气的数据信息。那么这个时候我们可以在Agent status中看到信息：

启动APM应用

如果你已经运行到这里，那么你基本上已经把整个的环境运行起来了。我们可以在terminal中打入如下的命令：

1
curl localhost:8080/demo/add -d name=First -d email=someemail@someemailprovider.com

上面的应用是向我们的数据中写入一条记录。

1
curl 'localhost:8080/demo/all'

运行上面的命令可以展示已经输入的所有的记录

1
curl 'localhost:8080/demo/weather'

运行上面的命令可以获得百度天气API接口所带给我们的天气信息。

上面的所有的信息我们都可以在浏览器中的地址栏中输入。

点击Kibana中的APM应用图标：

在上面我们可以看到应用的四个接口的统计情况。

我们在这个APM应用的dashboard上可以看到我们所有的API的调用情况。比如：

因为在我的应用中，我故意加入了一些延迟，所以导致我们的整个getBaiduWeather的请求时间为9.157秒才完成，而api.map.baidu.com的时间只有149ms。

到这里我的讲解就完成了。剩下的留给大家自己去挖掘哈！

参考：
【1】Accessing data with MySQL(https://spring.io/guides/gs/accessing-data-mysql/)

-------------本文结束 感谢您的阅读-------------
如果觉得我的文章对您有用,请随意打赏.您的支持将鼓励我继续创作!

  • 本文标题：
  • 文章作者： 永夜初晗凝碧天
  • 发布时间： 2020年01月02日 - 10:01:35
  • 更新时间： 2019年12月24日 - 11:12:05
  • 本文链接： https://yongnights.github.io/2020/01/02/Elastic 应用程序性能监控 管理(APM)实践/
  • 版权声明： 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。
    • 分享到： 收藏夹 复制网址 邮件 微信 QQ空间 腾讯微博 豆瓣 一键分享 更多